Iterative regularization is a classic idea in regularization theory, that has recently become popular in machine learning. On the one hand, it allows to design efficient algorithms controlling at the same time numerical and statistical accuracy. On the other hand it allows to shed light on the learning curves observed while training neural networks. In this paper, we focus on iterative regularization in the context of classification. After contrasting this setting with that of regression and inverse problems, we develop an iterative regularization approach based on the use of the hinge loss function. More precisely we consider a diagonal approach for a family of algorithms for which we prove convergence as well as rates of convergence. Our approach compares favorably with other alternatives, as confirmed also in numerical simulations.
translated by 谷歌翻译
Modern speech recognition systems exhibits rapid performance degradation under domain shift. This issue is especially prevalent in data-scarce settings, such as low-resource languages, where diversity of training data is limited. In this work we propose M2DS2, a simple and sample-efficient finetuning strategy for large pretrained speech models, based on mixed source and target domain self-supervision. We find that including source domain self-supervision stabilizes training and avoids mode collapse of the latent representations. For evaluation, we collect HParl, a $120$ hour speech corpus for Greek, consisting of plenary sessions in the Greek Parliament. We merge HParl with two popular Greek corpora to create GREC-MD, a test-bed for multi-domain evaluation of Greek ASR systems. In our experiments we find that, while other Unsupervised Domain Adaptation baselines fail in this resource-constrained environment, M2DS2 yields significant improvements for cross-domain adaptation, even when a only a few hours of in-domain audio are available. When we relax the problem in a weakly supervised setting, we find that independent adaptation for audio using M2DS2 and language using simple LM augmentation techniques is particularly effective, yielding word error rates comparable to the fully supervised baselines.
translated by 谷歌翻译
Artificial Intelligence (AI) systems have been increasingly used to make decision-making processes faster, more accurate, and more efficient. However, such systems are also at constant risk of being attacked. While the majority of attacks targeting AI-based applications aim to manipulate classifiers or training data and alter the output of an AI model, recently proposed Sponge Attacks against AI models aim to impede the classifier's execution by consuming substantial resources. In this work, we propose \textit{Dual Denial of Decision (DDoD) attacks against collaborative Human-AI teams}. We discuss how such attacks aim to deplete \textit{both computational and human} resources, and significantly impair decision-making capabilities. We describe DDoD on human and computational resources and present potential risk scenarios in a series of exemplary domains.
translated by 谷歌翻译
图像分类的深卷卷神经网络(CNN)依次交替交替进行卷积和下采样操作,例如合并层或陷入困境的卷积,从而导致较低的分辨率特征网络越深。这些降采样操作节省了计算资源,并在下一层提供了一些翻译不变性以及更大的接收领域。但是,这样做的固有副作用是,在网络深端产生的高级特征始终以低分辨率特征图捕获。逆也是如此,因为浅层总是包含小规模的特征。在生物医学图像分析中,工程师通常负责对仅包含有限信息的非常小的图像贴片进行分类。从本质上讲,这些补丁甚至可能不包含对象,而分类取决于图像纹理中未知量表的微妙基础模式的检测。在这些情况下,每一个信息都是有价值的。因此,重要的是要提取最大数量的信息功能。在这些考虑因素的推动下,我们引入了一种新的CNN体​​系结构,该体系结构可通过利用跳过连接以及连续的收缩和特征图的扩展来保留深,中间和浅层层的多尺度特征。使用来自胰腺导管腺癌(PDAC)CT扫描的非常低分辨率斑块的数据集,我们证明我们的网络可以超越最新模型的当前状态。
translated by 谷歌翻译
本文介绍了Hipart软件包,这是一个开源的本机Python库,可提供有效且可解释的分裂分层聚类算法的实现。HIPART支持交互式可视化,以操纵执行步骤,从而直接干预聚类结果。该软件包非常适合大数据应用程序,因为重点是实现的聚类方法的计算效率。所使用的依赖项是Python Build-In-In套件或高度维护的稳定外部软件包。该软件是根据MIT许可证提供的。该包的源代码和文档可以在https://github.com/panagiotisanagnostou/hipart上找到。
translated by 谷歌翻译
当结果具有高维度时(例如基因表达,脉冲反应,人类的面部)和协方差相对有限,对传统因果推理和监督学习方法的估算是一项具有挑战性的任务。在这种情况下,要在反事实治疗下构建一个人的结果,至关重要的是要利用其在协变量之上观察到的事实结果中包含的个人信息。我们提出了一个深层的变异贝叶斯框架,该框架严格整合了在反事实处理下进行结果构建的两个主要信息来源:一个来源是嵌入高维事实结果中的个体特征;另一个来源是实际收到这种利益疗法的相似受试者(具有相同协变量的受试者)的响应分布。
translated by 谷歌翻译
流媒体数据中对异常的实时检测正在受到越来越多的关注,因为它使我们能够提高警报,预测故障并检测到整个行业的入侵或威胁。然而,很少有人注意比较流媒体数据(即在线算法)的异常检测器的有效性和效率。在本文中,我们介绍了来自不同算法家族(即基于距离,密度,树木或投影)的主要在线检测器的定性合成概述,并突出了其构建,更新和测试检测模型的主要思想。然后,我们对在线检测算法的定量实验评估以及其离线对应物进行了彻底的分析。检测器的行为与不同数据集(即元功能)的特征相关,从而提供了对其性能的元级分析。我们的研究介绍了文献中几个缺失的见解,例如(a)检测器对随机分类器的可靠性以及什么数据集特性使它们随机执行; (b)在线探测器在何种程度上近似离线同行的性能; (c)哪种绘制检测器的策略和更新原始图最适合检测仅在数据集的功能子空间中可见的异常; (d)属于不同算法家族的探测器的有效性与效率之间的权衡是什么; (e)数据集的哪些特定特征产生在线算法以胜过所有其他特征。
translated by 谷歌翻译
在这项工作中,我们为点击率(CTR)预测引入了一个增量学习框架,并证明了其对Taboola大规模推荐服务的有效性。我们的方法可以通过从先前部署的模型中进行热烈启动并仅对“新鲜”数据进行微调来快速捕捉新兴趋势。过去的知识是通过教师范式维护的,教师充当蒸馏技术,减轻灾难性的遗忘现象。我们的增量学习框架可以显着更快地训练和部署周期(X12加速)。我们证明,每毫米(RPM)在多个交通段中的收入一致,新引入的物品的CTR大幅增加。
translated by 谷歌翻译
重建和分类误差的关节优化是一个难题的问题,尤其是当使用非线性映射时。为了克服这一障碍,提出了一种新颖的优化策略,其中将降低维度的卷积自动编码器和由完全连接的网络组成的分类器组合在一起,以同时产生监督的维度降低和预测。事实证明,这种方法也可以极大地有益于深度学习体系结构的解释性。此外,可以利用针对分类任务进行优化的最终潜在空间来改善传统的,可解释的分类算法。实验结果表明,所提出的方法对最先进的深度学习方法实现了竞争结果,同时在参数计数方面更有效。最后,从经验上证明,所提出的方法论介绍了关于通过产生的潜在空间的数据结构,还涉及分类行为的高级解释性。
translated by 谷歌翻译
从数据中揭示馈线拓扑对于提高情境意识和适当利用智能资源在电源分配网格中至关重要。该教程总结,对比和建立了对拓扑识别的最新作品与检测方案之间针对电源分配网格提出的有用联系。%在不同的测量类型,可观察性和采样方面。主要重点是突出使用分配网格中测量设备有限的方法,同时使用电源流体物理和馈线的结构特性来增强拓扑估算。可以从传统的方式或积极地收集相量测量单元或智能电表的网格数据,或者在执行网格资源并测量馈线的电压响应时积极收集。在不同的仪表放置方案下,对馈线可识别性和可检测性的分析主张进行了审查。可以通过具有各种计算复杂性的算法解决方案来确切或大致获得此类拓扑学习主张,从最小二乘拟合到凸优化问题,从图形上的多项式时间搜索到综合计划。该教程渴望为研究人员和工程师提供有关当前可行分配网格学习和对未来工作方向的见解的了解。
translated by 谷歌翻译